Rabix: 基于docker的可重复流程解决方案

• 生物信息数据分析流程面临的5大难题
• Docker 简介
• Common Workflow Language 简介
• Rabix: Portable Bioinformatics Pipeline
• 实例

• 把代码放在github，ftp
• 作为文章发表的附件
• 藏在不知道什么鬼地方。。。

• 4月7日起同行审稿杂志要求评估计算分析中的算法和文档
• 探索是否可以通过使用类似Docker的服务来测试复杂代码
• 高质量审稿人难觅，需要跨领域知识背景
• 社交尴尬：大部分作者会觉得代码被人查出错会很尴尬
• open sciense + open research： 不仅仅是“获得”，更重要是可重复和可扩展性

• 精准医疗大热，数据易得，可分析并不简单
• 基因组虽然不大，但0.1%的不同就是几百万的变异
• 商业公司不大愿意公开方法，测试数据和性能评估细节
• 所谓精准医疗必需“证据为王”
• 需要benchmark系统既保证商业利益，又可以进行有效评估

• 数据在云端，应用轻量围绕在数据周围
• 灵活，便捷，易重复

关于Docker你只知道两件事情。首先，它使用linux容器；第二，互联网会一直对它喋喋不休。

—Solomon Hykes, Docker CEO

• 2013年3月：Docker 0.1发布
• Docker 是 Docker.Inc 公司开源的一个基于 LXC技术之上构建的Container容器引擎， 源代码托管在 GitHub 上, 基于Go语言并遵从Apache2.0协议开源。
• 轻量，快速，便捷
• Dockfile可手动构建容器，便于分享
• 记录容器快照历史版本
• 特性：文件系统隔离, 资源隔离, 网络隔离, 写时复制, 日志记录, 变更管理, 交互式Shell

• R的官方Docker镜像管理
• Gihub上有用来建立容器的Dockerfile

• Bioconductor的Docker镜像存储在Docker Hub
• 原始Dockerfiles存储在 Github.
• 稳定版基于 rocker/rstudio；开发版本基于 rocker/rstudio-daily.

• 多家机构参与开发和定制包括： Seven Bridges Genomics （发起和主要参与者），Curoverse，Galaxy，Institut Pasteur，BioDatomics，Michigan State University，Broad Institute 等等
• google group已有100+人
• 请访问github官网

• CWL用来描述数据科学所使用的流程， 包括生物信息，化学，物理，宇航等等。
• 针对命令行工具(Command Line Tools) 和流程（Workflow）定义了数据和流程执行模型，从而可以移植在不同的计算平台上，从个人工作站到cluster，grid，云和高性能运算平台。
• 提高了流程的可移植性和可重复性。
• JSON, YML描述性的语言（数据，工具，流程，参数等）
• 使用向图（directed graph)来描述一系列将输入数据转化为输出数据的的操作。
• 包含了命令行工具（command line) 和表达工具（使用ECMAScript）。

• 任何linux系统上运行，只需指定JSON的URL
• 描述任何有命令行接口linux工具
• 使用docker进行工具以及系统依赖快照
• 灵活，可移植，迅速
• 指定运行所需资源需求（CPU，内存）优化执行
• javascript表达式
• 类型声明从而支持输入输出严格校验和图形界面映射
• 由SBG开发，请访问官方网站 rabix.org或者rabix.io

我希望执行一个命令

samtools view -bS in.sam > out.bam

• 命令行 samtools view
• 输入文件 Sam
• 输出文件 Bam
• Adaptor -bS

进入ubuntu镜像

docker run -ti ubuntu bash

在虚拟机里安装samtools（注：先进行update）

apt-get update
apt-get install samtools

docker commit -m "add samtools 0.1.19 to ubuntu base" \
-a "Tengfei Yin" 0d1ff3541700 tengfei/samtools:0.1.19

docker push tengfei/samtools

• 原生支持rabix
• 完美整合SBG官方平台
• 简易开发，云端运行

• Nebojsa Tijanic
• Sinisa Ivkovic
• Milica Kadic
• Luka Stojanovic